#Multi-agent RL - AI Papers Daily

Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards

用可验证信息奖励训练多智能体协作 LLM

🧭 多智能体协作训练 · 可验证信息奖励 ★ 深度解读

Arizona State University · University of Houston · The Ohio State University · Johns Hopkins University

提出 CoSIR，在可验证评分表环境中用团队 surprisal 减少作为信息奖励，训练 LLM 分享/请求/使用信息，迁移到 7 个未见协作任务

📌 工作参考价值（4 点）

在多 Agent 搜推系统中，不要只用最终点击/转化奖励整条对话；可在离线、信息完全可知的沙盒中构造“商品属性/用户特征分散在不同 Agent”的任务，用信息增益（如对正确排序结果的团队后验概率提升）作为消息奖励，训练 Agent 主动分享缺失特征、请求关键信息。
奖励分配要细粒度到 span/属性级：对消息中的实体-属性-值三元组做解析和验证，只有正确且有依据的分享给正奖励，重复、编造给惩罚，避免有效信息和话术得到相同信号。
多智能体协作训练容易损耗通用能力，可加 reference-model KL penalty 和回放通用 prompt 数据；在业务模型上做专项协作微调时尤其重要。
评估 Multi-Agent 系统时，除了最终业务指标，引入 MAST 这样失败分类（忽略队友输入、未澄清、验证缺失），定位瓶颈是信息共享还是信息利用，再进行针对性训练。

MultiAgent | 2026-10-13 | HF Daily | score 8/10

多智能体 RL 中通过多样化群组涌现无监督推理

🧭 多智能体无标签 RL · 推理训练 ★ 深度解读

Johns Hopkins University · UC San Diego · University of Exeter · Independent Researcher

用多个异构模型的同行投票作为无标签奖励，打破自奖励偏差，在文本与多模态推理上匹配甚至超过有监督 RL

📌 工作参考价值（4 点）

在搜索/推荐里的生成式任务（query 改写、商品标题/广告文案生成、Push 消息选词）缺少 ground-truth 标注时，可以用多个异构模型互相生成 majority-vote 伪标签作为 GRPO 奖励；reward 规则就是“答案是否等于 peer 的多数投票”，无需 reward model 或 LLM judge。
多样性要落到实处：选不同模型家族、不同参数规模、不同输入改写（原始 prompt 与改写 prompt 分开投喂）以及独立 optimizer 状态，能显著降低伪标签错误相关性；上线前可用 error-overlap 或 Cohen's kappa 快速筛选互补性强的模型 pair。
工程上轻量：每个模型独立采样 K 个 response（论文里 K=8/12，温度 1.0），各自做 GRPO，agent 间仅通过 cross-reward 耦合、不共享梯度；比 debate/LLM judge 更省推理预算，也方便跨团队部署和隐私隔离。
如果业务里已经有多套不同架构的生成/排序模型（如 Qwen、Llama、Gemma 等），可以直接交叉训练、单次 run 同时提升，论文三 agent 实验平均提升 6–8%，并匹配有监督 GT reward，适合标注稀缺但现成模型多的场景。

MultiAgent | 2026-08-18 | HF Daily | score 8/10